Thường được xem như swan song, "All Apologies" thực sự đã được viết vào năm 1990, bốn năm trước khi tác giả của nó là Kurt Cobain chết và sự tan rã tiếp đó của Nirvana.

Phiên bản thu trong phòng sớm nhất được biết đến của bài hát là bản thu âm do Craig Montgomery thực hiện vào ngày 1 tháng 1 năm 1991 ở Seattle, Washington. Lời bài hát và cấu trúc của nó đã được điều chỉnh nhiều lần vào hai năm tiếp theo. Phiên bản mới nhất của bài hát, bao gồm cả phiên bản thu âm trong studio vào năm 1991 thậm chí còn sổ sung thêm điệp khúc.

Album In Utero được thu âm vào tháng 2 năm 1993 bởi Steve Albini ở Cannon Falls, Minnesota. Trong phiên bản này có Kera Schaley chơi cello. Nó đã được Scott Litt cho thu âm lại cùng với bài "Heart-Shaped Box" và sau đó là bài "Pennyroyal Tea". "Bất cứ bản thu âm nào do Albini thực hiện mà tôi đã từng nghe, lời hát đều quá bé" Cobain phàn nàn trong cuộc phỏng vấn với tờ Guitar World vào năm 1993.

"All Apologies" được phát hành song song với "Rape Me" trong album In Utero như là bài hát thứ hai. Phiên bản Unplugged, mà có Lori Goldston chơi cello, có trong album năm 1994 MTV Unplugged in New York của ban nhạc, và trong album tổng hợp các bài hát hay nhất tên là Nirvana, được phát hành năm 2002 của họ.

Bản demo có trong hộp đĩa của ban nhạc vào năm 2004, With the Lights Out, và có trong album biên tập năm 2005, Sliver: The Best of the Box. Bài hát không có phần lời kết thúc nhưng nó có một cấu trúc hoàn chỉnh, có thể nó đã được thu âm vào năm 1992.